544. Орлов А.И. Математические методы исследования и диагностика материалов (Обобщающая статья). - Журнал «Заводская лаборатория». 2003. Т.69. No.3. С.53-64.

В ответ на пожелания, высказанные на заседании
 редколлегии журнала весной 1999 г.

Математические методы исследования и диагностика материалов (Обобщающая статья)1
 
А.И.Орлов2
 
Наш журнал называется “Заводская лаборатория. Диагностика материалов”. Поэтому вполне естественно рассмотреть возможности математических методов исследования в области диагностики материалов. Предлагаемая статья и посвящена математическим методам диагностики. Проанализированы различные научные направления в  теории  диагностики. Для этой области предложена классификация математических методов. Рассмотрена проблема естественной классификации, обоснован тезис: критерий естественности - устойчивость. В вероятностной теории кластер-анализа  введен метод статистической проверки обоснованности объединения кластеров. Обоснована остановка через конечное число шагов ряда итеративных алгоритмов построения диагностики. Найдено асимптотическое распределение “прогностической силы” алгоритма применения диагностики, разработан метод проверки возможности пересчета на модель линейного дискриминантного анализа. Изучены алгоритмы применения диагностики, основанные на использовании непараметрических оценок плотностей вероятностей в пространствах произвольной природы, в частности, в дискретных пространствах.

1. Введение
Среди методов диагностики материалов важное место занимают  математические методы. Этой области научно-практической деятельности посвящена настоящая статья, в которой обобщен опыт последних двадцати лет. В нашем журнале постоянно публикуются статьи по конкретным математическим методам диагностики. Однако, только зная место такого метода среди других, можно успешно планировать его практическое использование и дальнейшее теоретическое развитие.
Естественным было бы начать с определения термина “диагностика материалов” и затем перейти к описанию конкретных методов. Однако вокруг этого термина “нагромождено” столько, что без продолжительной разборки не обойтись. Конкретным общеизвестным методам место скорее в учебниках (см. ссылки ниже), чем в обобщающей статье. Поэтому  мы сначала рассмотрим ситуацию “с птичьего полета”, а потом приведем несколько новых результатов.
При внедрении современных статистических методов в практику технико-экономических исследований, при разработке соответствующих программных продуктов невозможно обойтись без классификации этих методов. Естественно исходить из вида обрабатываемых данных. В соответствии с работами [1,2] делим прикладную статистику на четыре области:
- статистика случайных величин (одномерная статистика);
- многомерный статистический анализ;
- статистика временных рядов и случайных величин;
- статистика объектов нечисловой природы.
В первой области элемент выборки - число, во второй - вектор, в третьей - функция, в четвертой - объект нечисловой природы. Термин "объект нечисловой природы" относится к элементам математического пространства, не являющегося векторным (линейным). Их нельзя складывать, умножать на числа, в отличие от чисел, векторов и функций. Примерами являются бинарные отношения (упорядочения, разбиения на классы, толерантности); множества, нечеткие множества; результаты измерений в номинальной и порядковой шкалах (т.е. по качественным признакам), в частности булевы вектора; вектора разнотипных признаков; тексты и т.д. (подробнее см., например,  статьи [3,4]). 
Математический аппарат статистики объектов нечисловой природы базируется на использовании расстояний (мер близости, показателей различия) в пространствах таких объектов. Это вызвано отсутствием в таких пространствах операций суммирования, на которых основано большинство методов других областей статистики. Любые методы, использующие только расстояния (меры близости, показатели различия) между объектами, следует относить к статистике объектов нечисловой природы, поскольку такие методы могут работать с объектами произвольного пространства, если в нем задана метрика или ее аналоги. Таким образом, весьма многие математические методы диагностики следует включать в статистику объектов нечисловой природы. Она является уже весьма развитой области прикладной математики. Ей посвящено несколько тысяч статей и  книг. Отметим сборник статей [5], включающий обзоры основных направлений данной области статистики, а в нем - статьи [6], рассказывающую о статистике объектов нечисловой природы “в целом”, и [7], обсуждающую возможности аксиоматического введения в ней различных мер близости. Опубликован еще целый ряд обзоров как общего характера [8,9], так и по отдельным направлениям - статистике разбиений [10], люсианов (бернуллиевских векторов [11] и другим. Специфические методы анализа летописей описаны в монографии [12] и других изданиях, выпущенных группой академика РАН А.Т.Фоменко; результаты представляют несомненный интерес для историков, поскольку демонстрируют необходимость пересмотра традиционной хронологии.
В настоящей статье рассматривается важное направление прикладной статистики – математические методы диагностики. Основная их часть относится к статистике объектов нечисловой природы, а именно, методы диагностики, основанные на расстояниях между объектами.
2. Основные направления в математической теории диагностики
Какие научные исследования относить к этой теории? Исходя из потребностей специалиста, применяющего математические методы диагностики, целесообразно принять, что сюда входят исследования, во-первых, отнесенные самими авторами к этой теории; во вторых, связанные с ней общностью тематики, хотя бы их авторы и не упоминали термин “диагностика”. Это предполагает ее сложную внутреннюю структуру.
В литературных источниках наряду с термином “диагностика” в близких смыслах используются термины “классификация”, “распознавание образов”, “дискриминация”,  “группировка”, “сортировка” и др. Терминологический  разнобой связан прежде всего с традициями научных кланов, к которым относятся авторы публикаций, а также с внутренним делением самой теории диагностики.
В публикациях по современной теории диагностики можно выделить два относительно самостоятельных направления. Одно из них опирается на опыт таких наук, как биология, география, геология, и таких прикладных областей, как ведение классификаторов продукции и библиотечное дело. Типичные объекты рассмотрения - классификация химических элементов (таблица Д.И. Менделеева), биологическая систематика, универсальная десятичная классификация (УДК). Опыт этого направления с гносеологических позиций обобщен в [13], соответствующий математический аппарат приведен в [14,15].
Другое направление публикаций опирается на опыт технических исследований, медицины, социологии, экономики. Типичные задачи - техническая и медицинская диагностика, а также, например, разбиение на группы отраслей промышленности, тесно связанных между собой, выделение групп однородной продукции. Наиболее развитая область обычно использует такие термины, как “распознавание образов” или “дискриминантный анализ” [16]. Краткое осмысление опыта и современного состояния этого направления дано в [17]. Оно опирается на математические модели; для проведения расчетов интенсивно используется ЭВМ. Однако относить его к математике столь же нецелесообразно, как астрономию или квантовую механику. Рассматриваемые математические модели можно и нужно изучать на формальном уровне, и такие исследования проводятся. Но направление в целом сконцентрировано на решении конкретных задач прикладных областей и вносит вклад в технические или экономические науки, медицину, социологию, но, как правило, не в математику. Использование математических методов как инструмента исследования нельзя относить к чистой математике.
 В 60-х годах XX века внутри прикладной статистики достаточно четко оформилась область, посвященная методам  диагностики (см., например, [16-17]). Несколько модифицируя формулировки М.Дж. Кендалла и А. Стьюарта 1966 г. (см. русский перевод [18, с.437]), выделим три подобласти: дискриминация (дискриминантный анализ), кластеризация (кластер-анализ), группировка. 
В дискриминантном анализе классы предполагаются заданными - плотностями вероятностей или обучающими выборками. Задача состоит в том, чтобы вновь поступающий объект отнести в один из этих классов. У понятия “дискриминация” имеется много синонимов: диагностика, распознавание образов с учителем,  автоматическая классификация с учителем, статистическая классификация и т.д.
При кластеризации и группировке целью является выявление и выделение классов. Синонимы: построение классификации, распознавание образов без учителя,  автоматическая классификация без учителя, таксономия и др. Задача кластер-анализа “состоит в выяснении по эмпирическим данным, насколько элементы "группируются" или распадаются на изолированные "скопления", "кластеры"” [18, с.467]. Иными словами, задача - выявление “естественного разбиения на классы, свободного от субъективизма исследователя”, а цель - выделение групп однородных объектов, сходных между собой, при резком отличии этих групп друг от друга.
При группировке, наоборот, “мы хотим разбить элементы на группы независимо от того, естественны ли границы разбиения или нет” [18, с.437]. Цель по-прежнему состоит в выявлении групп однородных объектов, сходных между собой (как в кластер-анализе), однако “соседние” группы могут не иметь резких различий (в отличие от кластер-анализа). Границы между группами условны, не являются естественными, зависят от субъективизма исследователя. Аналогично при лесоустройстве проведение просек (границ участков) зависит от специалистов лесного ведомства, а не от свойств леса.
Задачи кластеризации и группировки принципиально различны, хотя для их решения могут применяться одни и те же алгоритмы. Практически важная проблема состоит в том, чтобы понять, разрешима ли задача кластер-анализа для конкретных данных или возможна только их группировка, поскольку они достаточно однородны и не разбиваются на резко разделяющиеся между собой кластеры.
Как правило, в математических задачах кластеризации и группировки основное - метрика, расстояния между объектами, меры близости, сходства, различия. Хорошо известно, что для любого заданного разбиения объектов на группы и любого  > 0 можно указать метрику такую, что расстояния между объектами из одной группы будут меньше , а между объектами из разных групп - больше 1/. Тогда любой разумный алгоритм кластеризации даст именно заданное разбиение. Некоторые подходы к выбору расстояния в задачах классификации рассмотрены в обзоре [7].
Процитируем философа С.С. Розову. “Термином „классификация" (и термином “диагностика” – А.О.) обозначают, по крайней мере, три разные вещи: процедуру построения классификации (выделение классов, используемых при диагностике – А.О.), построенную классификацию (систему выделенных классов – А.О.) и процедуру ее использования (отнесения вновь поступающего объекта к одному из ранее выделенных классов –А.О.)” [13, с.6]. Другими словами, имеем естественную триаду: построение – изучение – использование.
Как уже отмечалось, для построения системы диагностических классов используют разнообразные методы кластерного анализа и группировки объектов. Наименее известен второй член триады – изучение отношений эквививалентности, полученных в результате построения системы диагностических классов. Статистический анализ полученных, в частности экспертами, отношений эквививалентности - часть статистики бинарных отношений и тем самым - статистики объектов нечисловой природы. Помимо общих результатов этой области прикладной статистики, представляют интерес частные результаты, полученные специально для отношений эквивалентности  [10]. 
Диагностика в узком смысле слова (процедура использования классификации, т.е. отнесения вновь поступающего объекта к одному из выделенных ранее классов) - предмет дискриминантного анализа. Как нами уже отмечалось [17], он является частным случаем общей схемы регрессионного анализа. Однако есть ряд специфических постановок, выделяющих задачи диагностики среди всех регрессионных задач.
3. О построении диагностических правил
Начнем с обсуждения одного распространенного заблуждения. Иногда рекомендуют сначала построить систему диагностических классов, а потом в каждом диагностическом классе отдельно проводить регрессионный анализ (в классическом смысле) или применять иные методы многомерного статистического анализа. Однако обычно забывают, что при этом нельзя опираться на вероятностную модель многомерного нормального распределения, так как не будет распределения результатов наблюдений, попавших в определенный кластер, будет отнюдь не нормальным, а усеченным нормальным (усечение определяется границами кластера), как это подробнее разъяснено в статье [26].
Процедуры построения диагностических правил делятся на вероятностные и детерминированные. К первым относятся задачи расщепления смесей [22]. В них предполагается, что распределение вновь поступающего случайного элемента является смесью вероятностных законов, соответствующих диагностическим классам. Как и при выборе степени полинома в регрессии [24,25], при анализе данных о реальных материалах встает вопрос оценки числа элементов смеси, т.е. числа диагностических классов. Нами изучены результаты применения обычно рекомендуемого критерия Уилкса для оценки числа элементов смеси. Оказалось [26], что оценка с помощью критерия Уилкса не является состоятельной, асимптотическое распределение этой оценки – геометрическое, как и в случае задач восстановления зависимости [24,25]. Итак, продемонстрирована несостоятельность обычно используемых оценок. Для получения состоятельных оценок достаточно связать уровень значимости в критерии Уилкса с объемом выборки, как это предложено в работах [24,25] для задач регрессии.
 Как уже отмечалось, задачи построения системы диагностических классов целесообразно разбить на два типа: с четко разделенными кластерами (задачи кластер-анализа) и с условными границами, непрерывно переходящими друг в друга классами (задачи группировки). Такое деление полезно, хотя в обоих случаях могут применяться одинаковые алгоритмы. Сколько же существует алгоритмов построения системы диагностических правил? Иногда называют то или иное число. На самом же деле их бесконечно много, что нетрудно доказать.
Действительно, рассмотрим один определенный алгоритм - алгоритм средней связи [22, с.102]. Он основан на использовании некоторой меры близости d(x,y) между объектами x и у. Легко проверить, что величина d a(x,y) также является мерой близости между x и у и порождает новый алгоритм. Если параметр а пробегает отрезок, то получается бесконечно много алгоритмов диагностики.
Каким из них пользоваться при обработке данных? Дело осложняется тем, что практически в любом пространстве данных мер близости различных видов существует весьма много [7]. Именно в связи с обсуждаемой проблемой нами в [27] рассматривается принципиальное различие между кластер-анализом и задачами группировки.
Если классы реальны [26], естественны, существуют на самом деле, четко отделены друг от друга, то любой алгоритм кластер-анализа их выделит. В [13, с. 206-209] приведен ряд критериев естественности диагностики, однако их невозможно, к сожалению, применить при обработке конкретных данных.
Ниже предлагается в качестве такого критерия рассматривать устойчивость относительно выбора алгоритма кластер-анализа.
Проверить устойчивость можно, применив к данным несколько подходов, например, столь непохожие алгоритмы, как “ближнего соседа” и “дальнего соседа” [22]. Если полученные результаты содержательно близки, то они адекватны действительности. В противном случае следует предположить, что естественной классификации не существует, задача кластер-анализа не имеет решения, и можно проводить только группировку.
Часто применяется т.н. агломеративный иерархический алгоритм “Дендрограмма” [22, с.100-103], в котором вначале все элементы рассматриваются как отдельные кластеры, а затем на каждом шагу объединяются два наиболее близких кластера. Для работы “Дендрограммы” необходимо задать правило вычисления расстояния между кластерами. Оно вычисляется через расстояние d(x,у) между элементами х и у. Поскольку d a(x,y) при 0<a<1 также расстояние, то, как правило, существует бесконечно много различных вариантов этого алгоритма. Представим себе, что они применяются для обработки одних и тех же реальных данных. Если при всех а получается одинаковое разбиение элементов на кластеры, т.е. результат работы алгоритма устойчив по отношению к изменению а (в смысле общей схемы устойчивости, введенной в монографии [28]), то имеем “естественную” классификацию. В противном случае результат зависит от субъективно выбранного исследователем параметра а, т.е. задача кластер-анализа неразрешима (предполагаем, что выбор а нельзя специально обосновать). Задача группировки в этой ситуации имеет много решений. Из них можно выбрать одно по дополнительным критериям.
Следовательно, получаем эвристический критерий: если решение задачи кластер-анализа существует, то оно находится с помощью любого алгоритма. Целесообразно использовать наиболее простой. Так, для классификации социально-психологических характеристик способных к математике школьников [29] мы использовали алгоритм [30]. На программирование и счет на ЭВМ ушло около полугода. Через несколько лет с помощью одного из вариантов “дендрограммы” - алгоритма “ближайшего соседа” [22, с.101] - кластер-анализ был проведен вручную за 1,5 часа. Результаты практически совпали!
4. Проблема поиска естественной классификации как основы диагностики
Существуют различные точки зрения на эту проблему [13, с. 202-213]. На Всесоюзной школе-семинаре “Использование математических методов в задачах классификации” (Пущино, 13-20 апреля 1986 г.), в частности, были высказаны мнения [17], что естественная классификация:
- закон природы;
- основана на глубоких закономерностях, тогда как искусственная классификация - на неглубоких;
- для конкретного индивида та, которая наиболее быстро вытекает из его тезауруса;
 - удовлетворяет многим целям; цель искусственной классификации задает человек;
- классификация с точки зрения потребителя продукции;
- классификация, позволяющая делать прогнозы;
- имеет критерием устойчивость.
Приведенные высказывания и соответствующий материал в [13] уже дают представление о больших расхождениях в понимании “естественной классификации”. Этот термин является нечетким (в смысле математической  теории нечеткости [28,31]), 
как, впрочем, и многие другие термины, как научно-технические, так и используемые в обыденном языке. В статье [31] подробно обоснована нечеткость естественного языка и тот факт, что “мы мыслим нечетко”, что однако не слишком мешает нам решать производственные и жизненные проблемы. Кажущееся рациональным требование выработать сначала строгие определения, а потом развивать науку - невыполнимо. Следовать ему - значит отвлекать силы от реальных задач. При системном подходе (в интерпретации монографии [14]) к теории диагностики становится ясно, что строгие определения можно надеяться получить на последних этапах построения теории. Мы же сейчас находимся чаще всего на первых этапах. Поэтому, не давая определения понятиям “естественная классификация”и “естественная диагностика”, обсудим, как проверить на “естественность” классификацию (набор диагностических классов), полученную расчетным путем.
Можно выделить два критерия “естественности”, по поводу которых имеется относительное согласие:
А. Естественная классификация должна быть реальной, соответствующей действительному миру, лишенной внесенного исследователем субъективизма;
Б. Естественная классификация должна быть важной или с научной точки зрения (давать возможность прогноза, предсказания новых свойств, сжатия информации и т.д.), или с практической.
Пусть классификация проводится на основе информации об объектах, представленной в виде матрицы “объект-признак” или матрицы попарных расстояний (мер близости). Пусть алгоритм классификации дал разбиение на кластеры.  Как можно получить доводы в пользу естественности этой классификации? Например, уверенность в том, что она - закон природы, может появиться только в результате длительного ее изучения и практического применения. Это соображение относится и к другим из перечисленных в [13] и выше критериев, в частности к Б (важности). Сосредоточимся на критерии А (реальности).
Понятие “реальности” кластера требует специального обсуждения. (оно начато нами в работе [26]). Рассмотрим существо различий между понятиями “классификация” и “группировка”. Пусть, к примеру, необходимо деревья, растущие в определенной местности, разбить на группы находящихся рядом друг с другом. Ясна интуитивная разница между несколькими отдельными рощами, далеко отстоящими друг от друга и разделенными полями, и сплошным лесом, разбитым просеками на квадраты с целью лесоустройства. Однако формально определить эту разницу столь же сложно, как определить понятие “куча зерен”, чем занимались еще в Древней Греции [31].
Переформулируем сказанное в терминах “кластер-анализа” и “методов группировки”. Выделенные с помощью первого подхода кластеры реальны, а потому могут рассматриваться как кандидаты в “естественные”. Группировка дает “искусственные” классы, которые не могут быть “естественными”.
Выборку из унимодального распределения можно, видимо, рассматривать как “естественный”, “реальный” кластер. Применим к ней какой-либо алгоритм классификации (“Форель”, “ближнего соседа” и т.п. [22]). Он даст разбиение на классы, которые, разумеется, не являются “реальными”, поскольку отражают прежде всего свойства алгоритма, а не исходных данных. Как отличить такую ситуацию от противоположной, когда имеются реальные кластеры и алгоритм классификации более или менее точно их выделяет? Как известно, “критерий истины – практика”, но слишком много времени необходимо для применения подобного критерия. Поэтому представляет интерес критерий, оценивающий “реальность” выделяемых с помощью алгоритма классификации кластеров одновременно с его применением.
Такой показатель существует - это критерий устойчивости. Устойчивость - понятие широкое. Общая схема формулирования и изучения проблем устойчивости предложена в [28]. В частности, поскольку значения признаков всегда измеряются с погрешностями, то “реальное” разбиение должно быть устойчиво (т.е. не меняться или меняться слабо) при малых отклонениях исходных данных. Алгоритмов классификации существует бесконечно много, и “реальное” разбиение должно быть устойчиво по отношению к переходу к другому алгоритму. Другими словами, если “реальное” разбиение на диагностические классы возможно, то оно находится с помощью любого алгоритма автоматической классификация. Следовательно, критерием естественности классификации может служить совпадение результатов работы двух достаточно различающихся алгоритмов, например “ближнего соседа” и “дальнего соседа” [22].
Нами рассмотрены два типа “глобальных” критериев “естественности классификации”, касающихся разбиения в целом. “Локальные” критерии относятся к отдельным кластерам. Простейшая постановка такова: достаточно ли однородны два кластера (две совокупности) для их объединения:? Если объединение возможно, то кластеры не являются “естественными”. Преимущество этой постановки в том, что она допускает применение статистических критериев однородности двух выборок. В одномерном случае (классификация по одному признаку) разработано большое число подобных критериев — Смирнова, омега-квадрат (Лемана-Розенблатта), Вилкоксона, Ван-дер-Вардена, Стьюдента и др. [32]. Имеются критерии и для многомерных данных [20,27]. Для одного из видов объектов нечисловой природы [11] - люсианов - статистические методы выделения “реальных” кластеров развиты в [33].
Что касается глобальных критериев, то для изучения устойчивости по отношению к малым отклонениям исходных данных естественно использовать метод статистических испытаний и проводить расчеты по “возмущенным” данным. Некоторые теоретические утверждения, касающиеся влияния “возмущений” на кластеры различных типов, получены в статье [26].
Несколько алгоритмов классификации были применены нами к данным [29]: широко известные алгоритмы “ближайшего соседа”, “дальнего соседа” и алгоритм из статьи [30]. С содержательной точки зрения, полученные разбиения отличались мало. Поэтому есть основания считать, что с помощью этих алгоритмов действительно выявлена “реальная” структура данных.
Идея устойчивости как критерия “реальности” иногда реализуется неадекватно. Так, в статье [34] для однопараметрических алгоритмов предлагается выделять разбиения, которым соответствуют наибольшие интервалы устойчивости по параметру, т.е. наибольшие приращения параметра между очередными объединениями кластеров. Для данных [29] это предложение не дало полезных результатов - были получены различные разбиения: три алгоритма - три разбиения. И с теоретической точки зрения предложение [34] несостоятельно, что нетрудно показать.
Действительно, рассмотрим алгоритм “ближайшего соседа”, использующий меру близости d(x,у), и однопараметрическое семейство алгоритмов с мерой близости da(x,y), а>0, также являющихся алгоритмами “ближайшего соседа”. Тогда дендрограммы, полученные с помощью этих алгоритмов, совпадают при всех a, поскольку при их реализации происходит лишь сравнение мер близости между объектами. Другими словами, дендрограмма, полученная с помощью алгоритма “ближайшего соседа”, является адекватной в порядковой шкале (измерения меры близости d(x,у)), т.е. сохраняется при любом строго возрастающем преобразовании этой меры [28]. Однако выделенные по методу [34] “устойчивые разбиения” меняются. В частности, при достаточно большом а “наиболее объективным” по [34] будет, как нетрудно показать, разбиение на два кластера! Таким образом, разбиение, выдвинутое в [34] как “устойчивое”, на самом деле оказывается весьма неустойчивым.
5. Вероятностная теория кластер-анализа
Как и для прочих методов прикладной статистики, свойства алгоритмов кластер-анализа необходимо изучать на вероятностных моделях [26]. Это касается, например, условий естественного объединения двух кластеров. Робастная процедура проверки допустимости объединения предложена в [35], непараметрическая - в [27].
Вероятностные постановки нужно применять, в частности, при перенесении результатов, полученных по выборке, на генеральную совокупность [1]. Вероятностная теория кластер-анализа и методов группировки различна для исходных данных типа таблиц “объект x признак” и матриц сходства. Для первых параметрическая теория называется “расщеплением смесей” [22, гл.2]. Непараметрическая теория основана на непараметрических оценках плотностей вероятностей и их мод [22, 19, 36]. Основные результаты, связанные с непараметрическими оценками плотности, обсуждаются ниже.
Если исходные данные - матрица сходства ||d(x,y)||, то необходимо признать, что развитой вероятностно-статистической теории пока нет. Подходы к ее построению обсуждались в [26]. Одна из основных проблем - проверка “реальности” кластера, его объективного существования независимо от расчетов исследователя. Проблема  “реальности” кластера давно обсуждается специалистами различных областей (см., например, [37]). Предположим, что результаты наблюдений можно рассматривать как выборку из некоторого распределения с монотонно убывающей плотностью при увеличении расстояния от некоторого центра. Примененный к подобным данным какой-либо алгоритм кластер-анализа порождает некоторое разбиение. Ясно, что оно - чисто формальное, поскольку выделенным таксонам (кластерам) не соответствуют никакие “реальные” классы. Другими словами, задача кластер-анализа не имеет решения, а алгоритм дает лишь группировку. При обработке реальных данных мы не знаем вида плотности. Проблема состоит в том, чтобы определить результат работы алгоритма (реальные кластеры или формальные группы).
Частный случай этой проблемы - проверка обоснованности объединения двух кластеров, которые мы рассматриваем как два множества объектов, а именно, {a1, a2,…, ak} и {b1, b2,…, bm}. Пусть, например, используется алгоритм типа “Дендрограммы”. Ряд авторов высказывали следующую идею. Пусть есть две совокупности мер близости: внутри кластеров d(ai,aj), 1<i<j<k, d(b,b), 1<<<m и между кластерами d(ai,b), 1<i<k, 1<<m. Эти совокупности предлагается рассматривать как независимые выборки и проверять гипотезу о совпадении их функций распределения. Если гипотеза не отвергается, объединение кластеров считается обоснованным; в противном случае - объединять нельзя, алгоритм прекращает работу. В [38] для проверки однородности использовался критерий Вилкоксона U, а в [39] – критерий типа 2 (Лемана-Розенблатта).
В рассматриваемом подходе есть две некорректности. Во-первых, меры близости не являются независимыми случайными величинами. Во-вторых, не учитывается, что объединяются не произвольные заранее фиксированные кластеры, а полученные в результате работы некоторого  алгоритма, и их состав оказывается случайным [26, разд. 4]. От первой из этих некорректностей можно частично избавиться. Справедливо следующее утверждение.
Теорема 1. Пусть a1, a2,…, ak, b1, b2,…, bm - независимые одинаково распределенные случайные величины (со значениями в произвольном пространстве). Пусть случайная величина d(а1,а2) имеет все моменты. Тогда при k,т  распределение статистики
 
(где U - сумма рангов элементов первой выборки в объединенной выборке; первая выборка составлена из внутрикластерных расстояний (мер близости) d(ai,aj), 1<i<j<k, и  d(b,b), 1<<<m, а вторая - из межкластерных d(ai,b), 1<i<k, 1<<m) сходится к стандартному нормальному распределению с математическим ожиданием 0 и дисперсией 1.
	На основе теоремы 1 очевидным образом формулируется правило проверки обоснованности объединения двух кластеров. Другими словами, мы проверяем статистическую гипотезу, согласно которой объединение двух кластеров образует однородную совокупность. Если величина U слишком мала, статистическая гипотеза однородности отклоняется (на заданном уровне значимости), и возможность объединения отбрасывается. 
6. О вычислительной сходимости алгоритмов кластер-анализа
	Алгоритмы кластер-анализа и группировки зачастую являются итерационными. Например, формулируется правило улучшения решения задачи кластер-анализа шаг за шагом, но момент остановки вычислений не обсуждается. Примером является известный алгоритм "Форель", в котором улучшается положение центра кластера. В этом алгоритме на каждом шагу строится шар определенного заранее радиуса, выделяются элементы кластеризуемой совокупности, попадающие в этот шар, и новый центр кластера строится как центр тяжести выделенных элементов. При анализе алгоритма “Форель” возникает проблема: завершится ли процесс улучшения центра кластера через конечное число шагов или же он может быть бесконечным.  Она получила название “проблема остановки”. Для широкого класса так называемых “эталонных алгоритмов”  проблема остановки была решена: процесс улучшения остановится через конечное число шагов [26]. 
	Отметим, что алгоритмы кластер-анализа могут быть модифицированы разнообразными способами. Например, описывая алгоритм “Форель” в стиле статистики  объектов нечисловой природы, заметим, что вычисление центра тяжести для совокупности многомерных точек – это нахождение эмпирического среднего для меры близости, равной квадрату евклидова расстояния. Если взять более естественную меру близости – само евклидово расстояние, то получим алгоритм кластер-анализа “Медиана”, отличающийся от “Форели” тем, что новый центр строится не с помощью средних арифметических координат элементов, попавших в кластер, а с помощью медиан. 
	Проблема остановки возникает не только при построении диагностических классов. Она принципиально важна и при оценивании параметров вероятностных распределений методом максимального правдоподобия. Обычно не представляет большого труда выписать систему уравнений максимального правдоподобия и предложить решать ее каким-либо численным методом. Однако когда остановиться, сколько итераций сделать, какая точность оценивания будет при этом достигнута? Общий ответ, видимо, невозможно найти, но обычно нет ответа и для конкретных семейств. Именно поэтому мы не рекомендуем решать системы уравнений максимального правдоподобия, предлагая вместо них одношаговые оценки [40]. Эти оценки задаются конечными формулами, но асимптотически столь же хороши, как и оценки максимального правдоподобия.
7. О сравнении алгоритмов диагностики по результатам обработки реальных данных
 Перейдем к этапу применения диагностических правил, когда классы, к одному из которых нужно отнести вновь поступающий объект, уже выделены.
В прикладных исследованиях применяют различные методы дискриминантного анализа, основанные на вероятностных моделях (см., например, [20]), а также с ними не связанные, т.е. эвристические, в частности некогда популярный алгоритм “Кора” [21,22]. Независимо от “происхождения”, каждый подобный алгоритм должен быть исследован как на параметрических и непараметрических вероятностных моделях, так и на различных массивах реальных данных. Цель исследования - выбор наилучшего алгоритма в определенной области применимости, включение его в стандартные  программные продукты, методические материалы, учебные пособия. Но для этого надо уметь сравнивать алгоритмы по качеству.
Часто используют показатель “вероятность правильной классификации” (при обработке конкретных данных - “частота правильной классификации”). В [23] нами показано, что он некорректен, а потому пользоваться им не рекомендуется. В настоящей работе предложен и изучен другой показатель - оценка специального вида т.н. “расстояния Махаланобиса” между классами. Изложение проведем на примере разработки программного продукта для специалистов по диагностике материалов. Прообразом является “АРМ материаловеда”, разработанное нами для ВНИИ эластомерных материалов [41].
 При построении информационно-исследовательской системы диагностики материалов (ИИСДМ) возникает задача сравнения прогностических правил “по силе”. Прогностическое правило - это алгоритм, позволяющий по характеристикам материала прогнозировать его свойства. Если прогноз дихотомичен (“есть” или “нет”), то правило является алгоритмом диагностики, при котором материал относится к одному из двух классов. Ясно, что случай нескольких классов может быть сведен к конечной последовательности  выбора между двумя классами.
Прогностические правила могут быть извлечены из научно-технической  литературы и практики. Каждое из них обычно формулируется в терминах небольшого числа признаков, но наборы признаков сильно меняются от правила к правилу. Поскольку в ИИСДМ должно фиксироваться лишь ограниченное число признаков, то возникает проблема их отбора. Естественно отбирать лишь те их них, которые входят в наборы, дающие наиболее “надежные” прогнозы. Для придания точного смысла термину “надежный” необходимо иметь способ сравнения алгоритмов диагностики по прогностической “силе”.
Результаты обработки реальных данных с помощью некоторого алгоритма диагностики в рассматриваемом случае двух классов описываются долями: правильной диагностики в первом классе ; правильной диагностики во втором классе l; долей классов в объединенной совокупности pi, i = 1,2; p1 + p2 = 1. 
Величины , l, p1, p2  определяются ретроспективно. 
Нередко как показатель качества алгоритма диагностики (прогностической “силы”) используют долю правильной диагностики
Однако m определяется через характеристики p1, p2  частично заданные исследователем (например, на них влияет тактика отбора образцов для изучения). В аналогичной медицинской задаче величина m оказалась больше для тривиального прогноза (у всех больных течение заболевания будет благоприятно), чем для использованного в [21] алгоритма выделения больных с прогнозируемым тяжелым течением заболевания, применение которого с медицинской точки зрения вполне оправдано. Поэтому, на наш взгляд, долю правильной диагностики m нецелесообразно использовать как показатель качества алгоритма диагностики.
Применение теории статистических решений требует знания потерь от ошибочной диагностики, а в большинстве  научно-технических и экономических задач определить потери  сложно. В частности, из-за необходимости оценить человеческую жизнь в денежных единицах. По этическим соображениям это недопустимо.
Для выявления информативного набора признаков целесообразно использовать метод пересчета на модель линейного дискриминантного анализа [23], согласно которому статистической оценкой прогностической “силы” является
где Ф - функция нормального распределения вероятностей с математическим ожиданием 0 и дисперсией 1, а Ф-1 - обратная ей функция.
Если классы описываются выборками из многомерных нормальных совокупностей с одинаковыми матрицами ковариаций, а для классификации применяется линейный дискриминантный анализ Р.Фишера, величина d* представляет собой статистическую оценку расстояния Махаланобиса между совокупностями, независимо от порогового значения, определяющего конкретное решающее правило. В общем случае показатель d*  вводится как эвристический.
Пусть алгоритм классификации применяется к совокупности, состоящей из т объектов первого класса и n объектов второго класса.

Теорема 2. Пусть т,п. Тогда для всех х
,
где d  - истинная прогностическая “сила” алгоритма диагностики; d* - ее эмпирическая оценка

;
ф(х)= Ф'(х) - плотность стандартного нормального распределения вероятностей.

С помощью теоремы 2 по k и l обычным образом определяют доверительные границы для прогностической “силы” d.
Как проверить обоснованность пересчета на модель линейного дискриминантного анализа? Допустим, что классификация состоит в вычислении прогностического индекса у и сравнении его с некоторым порогом с; объект относят к первому классу, если у<с, ко второму, если у>с. Возьмем два значения порога с1 и c2. Если пересчет на модель обоснован, то прогностические “силы” для обоих правил совпадают: d(c1)=d(c2). Эту статистическую гипотезу можно проверить.
Пусть k1 - доля объектов первого класса, для которых y<c1, а k2 - доля объектов второго класса, для которых c1<y<c2. Аналогично пусть l2 - доля объектов второго класса, для которых c1<y<c2, а l3 - для которых у>с2. Тогда можно рассчитать две оценки одного и того же расстояния Махаланобиса. Они имею вид:
 
d*(с1)=Ф-1(k1)+Ф-1(l2+l3),
d*(с2)=Ф-1(k1+k2)+Ф-1(l3).

Теорема 3. Если т,п, d(c1)=d(c2), то при всех х
,
где
;
.

Из теоремы 3 вытекает метод проверки рассматриваемой гипотезы: при выполнении неравенства

она принимается на уровне значимости, асимптотически равном a, в противном случае - отвергается.
Для решения задач диагностики используют два подхода – параметрический и непараметрический. Первый из них обычно основан на использовании того или иного индекса и сравнения его с порогом. Индекс может быть построен по статистическим данным, например, как в линейном дискриминантном анализе Фишера [20]. Часто индекс представляет собой линейную функцию, коэффициенты которой подбирают эмпирически. Непараметрический подход связан с леммой Неймана-Пирсона в математической статистике и с теорией статистических решений. Он опирается на использование непараметрических оценок плотностей распределений вероятностей, описывающих диагностические классы. 
8. Математические методы диагностики 
на основе непараметрических оценок плотности 
	Математические методы диагностики, как и статистические методы в целом, делятся на параметрические и непараметрические. Первые основаны на предположении, что классы описываются распределениями из некоторых параметрических семейств. Обычно рассматривают многомерные нормальные распределения, при этом зачастую принимают гипотезу о том, что ковариационные матрицы для различных классов совпадают. Именно в таких предположениях сформулирован классический дискриминантный анализ Фишера. Как известно, обычно нет оснований считать, что наблюдения извлечены из нормального распределения. 
Поэтому более корректными, чем параметрические, являются непараметрические методы диагностики. Исходная идея таких методов основана на лемме Неймана-Пирсона, входящей в стандартный курс математической статистики. Согласно этой лемме решение об отнесении вновь поступающего объекта (сигнала, наблюдения и др.) к одному из двух классов принимается на основе отношения плотностей f(x)/g(x), где f(x) - плотность распределения, соответствующая первому классу, а  g(x) - плотность распределения соответствующая второму классу. Если плотности распределения неизвестны, то применяют их непараметрические оценки, построенные по обучающим выборкам. Пусть обучающая выборка объектов из первого класса состоит из n элементов, а обучающая выборка для второго класса - из  m объектов. Тогда рассчитывают значения непараметрических оценок плотностей fn(x) и gm(x) для первого и второго классов соответственно, а диагностическое решение принимают по их отношению. Таким образом, для решения задачи диагностики достаточно научиться строить непараметрические оценки плотности для выборок объектов произвольной природы.
Как уже отмечалось, в нашей стране с середины 70-х годов активно разрабатываются методы статистического анализа нечисловых данных  [2-4], поскольку развитие прикладных исследований привело к необходимости рассмотрения в качестве статистических данных различных объектов нечисловой природы. Так принято называть элементы пространств, не являющихся линейными (векторными). Примерами объектов нечисловой природы являются бинарные отношения (ранжировки, разбиения, толерантности и т.д.); множества; нечеткие множества; результаты измерений в шкалах, отличных от абсолютной; как обобщение перечисленных объектов - элементы пространств общей природы. Для нечисловых результатов наблюдений разработаны [2-4] методы решения классических задач статистики. А именно, задач описания данных (включая классификацию), оценивания (параметров, характеристик, плотности распределения, регрессионной зависимости и т.д.), проверки гипотез.
	Математический аппарат статистики объектов нечисловой природы основан не на свойстве линейности пространства и использовании разнообразных сумм элементов выборок и функций от них, как в классической статистике, а на применении показателей различия, мер близости, метрик, поэтому существенно отличается от классического. В статистике нечисловых данных выделяют [2-4] общую теорию и статистику в конкретных пространствах нечисловой природы (например, статистику ранжировок). В общей теории есть два основных сюжета. Один связан со средними величинами и асимптотическим поведением решений экстремальных статистических задач, второй - с непараметрическими оценками плотности. Именно ему в связи с задачами диагностики посвящена заключительная часть настоящей статьи.
	Понятие плотности в пространстве произвольной природы Х требует специального обсуждения. В нем должна быть выделена некоторая специальная мера , относительно которой будут рассматриваться плотности, соответствующие другим мерам, например, мере , задающей распределение вероятностей некоторого случайного элемента . В таком случае (А) = Р(  А) для любого случайного события А. Плотность f(x), соответствующая мере  - это такая функция, что  

для любого случайного события А. Для случайных величин и векторов мера  - это объем множества А, в математических терминах - мера Лебега. Для дискретных случайных величин и элементов со значениями в конечном множестве Х в качестве меры  естественно использовать считающую меру, которая событию А ставит в соответствие число его элементов. Используют также нормированную случайную меру, когда число точек в множестве А делят на число точек во всем пространстве Х. В случае считающей меры значение плотности в точке х совпадает с вероятностью попасть в точку х, т.е. f(x) = Р(ξ = х). Таким образом, с рассматриваемой точки зрения стирается грань между понятиями “плотность вероятности” и “вероятность”.
	Не пытаясь рассмотреть все многообразие методов диагностики в статистике объектов нечисловой природы (см., например, [17]), сосредоточимся на тех из них, которые используют плотности распределения и их оценки. Зная плотности распределения классов, можно решать основные задачи диагностики - как задачи выделения кластеров, так и задачи отнесения вновь поступающего объекта к одному из диагностических классов. В задачах кластер-анализа можно находить моды плотности и принимать их за центры кластеров или за начальные точки итерационных методов типа динамических сгущений. В задачах собственно диагностики (дискриминации, распознавания образов с учителем) можно принимать решения о диагностике объектов на основе отношения плотностей, соответствующих классам. При неизвестных плотностях представляется естественным использовать их состоятельные оценки. 
	Методы оценивания плотности вероятности в пространствах общего вида предложены и первоначально изучены в [42]. В частности, в задачах диагностики объектов нечисловой природы предлагаем использовать непараметрические ядерные оценки плотности типа Парзена-Розенблатта (этот вид оценок и его название введены в статье [42] ). Они имеют вид:

 где К:  - так называемая ядерная функция, x1, x2, …, xn  X  - выборка, по которой оценивается плотность, d(xi , x)  - показатель различия (расстояние, мера близости) между элементом выборки xi  и точкой x, в которой оценивается плотность, последовательность hn  показателей размытости такова, что hn 0 и nhn при , а  - нормирующий множитель, обеспечивающий выполнение условия нормировки (интеграл по всему пространству от непараметрической оценки плотности fn(x) по мере  должен равняться 1).
	Только что введенные ядерные оценки плотности - частный случай линейных оценок [42]. В теоретическом плане они выделяются тем, что  удается получать результаты такого же типа, что в классическом одномерном случае, но, разумеется, с помощью совсем иного математического аппарата.
9. Свойства непараметрических ядерных оценок плотности
	Мы рассматриваем выборку со значениями в некотором пространстве произвольного вида. В этом пространстве предполагаются заданными показатель различия d и мера . Одна из основных идей рассматриваемого подхода состоит в том, чтобы согласовать их между собой. А именно, на их основе построим новый показатель различия d1 , так называемый "естественный", в терминах которого проще формулируются свойства непараметрической оценки плотности. Для этого рассмотрим шары  радиуса t>0 и их меры Fx(t) = (Lt(x)). Предположим, что Fx(t) как функция t при фиксированном x непрерывна и строго возрастает. Введем функцию d1(x,y)= Fx(d(x,y)).	Это - монотонное преобразование показателя различия или расстояния, а потому d1(x,y) - также показатель различия (даже если d - метрика, для d1 неравенство треугольника может быть не выполнено). Другими словами, d1(x,y), как и d(x,y), можно рассматривать как показатель различия (меру близости) между x и y. 
	Для вновь введенного показателя различия d1(x,y) введем соответствующие шары . Поскольку обратная функция F -1x(t) определена однозначно, то , где T = F -1x(t). Следовательно, справедлива цепочка равенств F1x(t) = (L1t(x)) = (LT(x)) = Fx(F -1x(t)) = t. 
 	Переход от d к d1 напоминает классическое преобразование, использованное Н.В. Смирновым при изучении непараметрических критериев согласия и однородности, а именно, преобразование , переводящее случайную величину  с непрерывной функцией распределения F(x) в случайную величину ,  равномерно  распределенную  на отрезке [0,1]. Оба рассматриваемых преобразования существенно упрощают дальнейшие рассмотрения. Преобразование d1= Fx(d) зависит от точки x, что не влияет на дальнейшие рассуждения, поскольку  ограничиваемся изучением сходимости в отдельно взятой точке.
	Функцию d1(x,y), для которой мера шара радиуса t равна t, называем в соответствии с работой [42] “естественным показателем различия” или “естественной метрикой”. В случае конечномерного пространства Rk и евклидовой метрики d имеем d1(x,y) = ck d k (x,y), где ck  - объем шара единичного радиуса в Rk .
	Поскольку можно записать, что 
,
где 
,
 то переход от d к d1 соответствует переходу от K к K1. Выгода от такого перехода заключается в том, что утверждения о поведении непараметрических оценок плотности приобретают более простую формулировку.
	Теорема 4. Пусть d - естественная метрика, плотность f  непрерывна в точке x  и ограничена на всем пространстве X , причем f(x)>0, ядерная функция K(u) удовлетворяет простым условиям регулярности. 
Тогда n(hn , x) = nhn , оценка fn(x)  является состоятельной, т.е.  fn(x) f(x) по вероятности при n и, кроме того,
.
	Теорема 4 доказывается методами, развитыми в [42]. Однако остается открытым вопрос о скорости сходимости ядерных оценок,  в частности, о поведении величины n = M(fn(x)-f(x))2 - среднего квадрата ошибки,  и об оптимальном выборе показателей размытости  hn . Для того, чтобы продвинуться в решении этого вопроса, введем новые понятия. Для случайного элемента X() со значениями в X рассмотрим круговое распределение G(x,t) = P{d(X(), x)<t}  и круговую плотность g(x,t)= G't(x,t).
	Теорема 5. Пусть ядерная функция K(u) непрерывна и финитна, т.е. существует число E такое, что K(u)=0 при u>E. Пусть круговая плотность является достаточно гладкой, т.е. допускает разложение

при некотором k, причем остаточный член равномерно ограничен на [0,hE]. Пусть
Тогда 

	Доказательство теоремы 5 проводится  с помощью  разработанной в статистике объектов нечисловой природы математической техники, образцы которой представлены, в частности, в [42].  Если коэффициенты при основных членах в правой части последней формулы не равны 0, то величина n достигает минимума, равного при  Эти выводы совпадают с классическими результатами, полученными ранее рядом авторов для весьма  частного случая прямой X = R1 (см. [43, с.316]). Заметим, что для уменьшения смещения оценки приходится применять знакопеременные ядра K(u).
10. Непараметрические оценки плотности в конечных пространствах
 	В случае конечных пространств естественных метрик не существует. Однако можно получить аналоги теорем 4 и 5, переходя к пределу не только по объему выборки n, но и по параметру дискретности m.
	Рассмотрим некоторую последовательность Xm , m = 1,2,…- конечных пространств. Пусть в Xm заданы показатели различия dm . Будем использовать нормированные считающие меры  ставящие в соответствие каждому подмножеству А долю элементов всего пространства Xm , входящих в А. Как и ранее, рассмотрим как функцию t объем шара радиуса t, т.е. Введем аналог естественного показателя различия Наконец, рассмотрим аналоги преобразования Смирнова Функции , в отличие от ситуации предыдущего раздела, уже не совпадают тождественно с t, они кусочно постоянны и имеют скачки в некоторых точках ti , i =1,2,…, причем 
	Теорема 6. Пусть точки скачков равномерно сближаются, т.е.   при  (другими словами,-t| при ). Тогда существует последовательность параметров дискретности mn такая, что при предельном переходе  справедливы заключения теорем 4 и 5.
 	Пример 1. Пространство  всех подмножеств конечного множества  из m элементов допускает [28] аксиоматическое введение метрики  где  - символ симметрической разности множеств. Рассмотрим непараметрическую ядерную оценку плотности типа Парзена - Розенблатта 

где  - функция нормального стандартного распределения. Можно показать, что эта оценка удовлетворяет условиям теоремы 6 с 
	Пример 2. Рассмотрим пространство функций  определенных на конечном множестве , со значениями в конечном множестве . Это пространство можно интерпретировать как пространство нечетких множеств [28], а именно, Yr - носитель нечеткого множества, а Zq - множество значений функции принадлежности. Очевидно, число элементов пространства Xm равно (q+1)r . Будем использовать расстояние  Непараметрическая оценка плотности имеет вид:

Если , то при > выполнены условия теоремы 6, а потому справедливы теоремы 4 и 5.
	Пример 3. Рассматривая пространства ранжировок m объектов, в качестве расстояния d(A,B) между ранжировками A и B примем минимальное число инверсий, необходимых для перехода от A к B. Тогда max(ti -ti-1)  не стремится к 0 при , условия теоремы 6 не выполнены.
	Пример 4. В прикладных работах наиболее распространенный пример объектов нечисловой природы – вектор разнотипных данных: реальный объект описывается вектором, часть координат которого - значения количественных признаков, а часть - качественных (номинальных и порядковых). Для пространств разнотипных признаков, т.е. декартовых произведений непрерывных и дискретных пространств, возможны различные постановки. Пусть, например, число градаций качественных признаков остается постоянным. Тогда непараметрическая оценка плотности сводится к произведению частоты попадания в точку в пространстве качественных признаков на классическую оценку Парзена-Розенблатта в пространстве количественных переменных. В общем случае расстояние d(x,y) можно, например, рассматривать как сумму трех расстояний. А именно, евклидова расстояния d1 между количественными факторами, расстояния d2 между номинальными признаками (d2(x,y) = 0, если x = y, и d2(x,y) = 1, если ) и расстояния d3 между порядковыми переменными (если x и y - номера градаций, то d3(x,y) = |x - y|). Наличие количественных факторов приводит к непрерывности и строгому возрастанию функции Fmx(t), а потому для непараметрических оценок плотности в пространствах разнотипных признаков верны теоремы 4 - 5.
11. Заключение
	Математические методы диагностики весьма различны и имеют разнообразные применения. В рамках одной статьи все такие методы описать невозможно. Ряд иных задач диагностики рассмотрен автором в [26, 36]. Укажем некоторые публикации, относящиеся к тематике статьи. К первому из выделенных в п.2 выше направлений (к публикациям [13-15]) примыкают, в частности, монографии [44, 45]. Во второму - сборники и монографии [46-55]. Всего публикаций (монографий, статей, тезисов и трудов конференций и др.) – десятки тысяч. В 1980-х гг. вопросами диагностики активно занималась Комиссия ВСНТО по классификации  (председатель – член-корреспондент АН СССР Г.Б. Бокий), включившая в свою деятельность около тысячи специалистов. Тем не менее математические методы диагностики остаются чуть ли не самой хаотичной областью математических методов исследования. 
	Описанные в настоящей статье подходы и результаты применялись нами при решении ряда прикладных задач, в частности, при сертификации продукции, в задачах химической безопасности биосферы и экологического страхования, в медицине труда. Соответствующие алгоритмы включены в состав автоматизированных рабочих мест “АРМ материаловеда” и “АРМ математика” (разработаны для ВНИИ эластомерных материалов и изделий), АРМ "Математика в экспертизе" (АРМ "МАТЭК"), диалоговых систем анализа статистических данных ДИСАН и ППАНД. Рассмотренные в статье подходы и результаты математической теории диагностики использовались также в учебном процессе (МГТУ им. Н.Э.Баумана, Межвузовский центр экономического образования, МГИЭМ (ту), Институт маркетинговых исследований и др.).
Литература
1. Рекомендации. Прикладная статистика. Методы обработки данных. Основные требования и характеристики. - М.: ВНИИСИ, 1987. – 62 с.
2. Орлов А.И. / Заводская лаборатория. 1990. Т.56. № 3. С.76-83.
3. Орлов А.И. / Заводская лаборатория. 1995. Т.61. № 3. С.43-52.
4. Орлов А.И. / Заводская лаборатория. 1995. Т.61. № 5. С.43-51.
5. Анализ нечисловой информации в социологических исследованиях. - М.: Наука, 1985. – 222 с.
6. Орлов А.И. – В кн.: Анализ нечисловой информации в социологических исследованиях. - М.: Наука, 1985. С.58-92.
7. Раушенбах Г.В. – В кн.: Анализ нечисловой информации в социологических исследованиях. - М.: Наука, 1985. С.169-203.
8. Орлов A.И. – В кн.: Статистика. Вероятность. Экономика. -  М.: Наука, 1985. С.99-107.
9. Орлов А.И. / Труды Первого Всемирного Конгресса Общества им. Бернулли “Математическая статистика, теория вероятностей, комбинаторика и ее применения”.  Вып. 1. - М.: МИАН СССР, Советский Комитет Общества им. Бернулли, 1988. С.336-341.
10. Маамяги A.В. Некоторые задачи статистического анализа классификаций. - Таллинн: Изд-во АН ЭССР, 1982. – 24 с.
11. Орлов А.И., Рыданова Г.В. / Материалы Первой Всесоюзной школы-семинара “Программно-алгоритмическое обеспечение анализа данных в медико-биологических исследованиях (3-6 июня 1985 г., Пущино)”. - Пущино: НИВЦ АН СССР. 1986. С.61-71.
12. Фоменко А.Т. Методы статистического анализа исторических текстов. Приложения к хронологии. Тт. I, II. – М.: КРАФТ+ЛЕАН, 1999. – 832 с. + 832 с. 
13. Розова С.С. Классификационная проблема в современной науке. - Новосибирск: Наука, 1986. – 224 с.
14. Шрейдер Ю.А., Шаров А.А. Системы и модели. - М.: Радио и связь, 1982. – 152 с.
15. Воронин Ю.А. Теория классифицирования и ее приложения. – Новосибирск: Наука, 1985. – 232 с.
16. Горелик А.Л., Скрипкин В.А. Методы распознавания. Учебное пособие для вузов. - М.: Высшая школа, 1984. – 208 с.
17. Орлов А.И. / Социология: методология, методы, математические модели. 1991. №2. С.28-50.
18. Кендалл М.Дж., Стьюарт А. Многомерный статистический анализ и временные ряды. - М.: Наука, 1976. – 736 с. 
19. Орлов A.И. – В кн.: Программно-алгоритмическое обеспечение анализа данных в медико-биологических исследованиях. - М.: Наука, 1987. С.27-40.
20. Андерсон Т. Введение в многомерный статистический анализ. - М.: ГИФМЛ, 1963. -  500 с.
21. Гельфанд И.М., Алексеевская М.А., Губерман Ш.А. и др. / Кардиология. 1977. Т.17. № 6. С.19-23.
22. Айвазян С.А., Бежаева З.И.. Староверов O.B. Классификация многомерных наблюдений. - М.: Статистика, 1974. – 240 с.
23. Орлов А.И. – В кн.: Общая биология. Новые данные исследований структуры и функций биологических систем. Доклады МОИП, 1985.  - М.: Наука, 1987. С.79-82.
24. Орлов А.И. – В кн.: Алгоритмическое и программное обеспечение прикладного статистического анализа. -М.: Наука, 1980. С.92-99.
25. Орлов А.И. – В кн.: Прикладная статистика.  - М.: Наука, 1983. – С.260-265.
26. Орлов А.И. – В кн.: Прикладная статистика. - М.: Наука, 1983. – С.166-179.
27. Орлов А.И. – В кн.: Общая биология. Новые данные исследований структуры и функций биологических систем. Доклады МОИП, 1985. М.: Наука, 1987. С.53-56.
28. Орлов А.И. Устойчивость в социально-экономических моделях. - М.: Наука, 1979. – 296 с.
29. Орлов А.И.; Гусейнов Г.А. – В кн.: Исследования по вероятностно-статистическому моделированию реальных систем. - М.: ЦЭМИ АН СССР, 1977. С.80-93.
30. Куперштох B.JI., Миркин Б.Г., Трофимов В.А. / Автоматика и телемеханика. 1976. № 3. С.91-98.
31. Орлов А.И. / Наука и жизнь. 1982. № 7. С.60-67.
32. Большев Л.Н., Смирнов H.В. Таблицы математической статистики. - М.: Наука, 1983. – 416 с.
33. Орлов А.И. – В кн.: Экспертные оценки в задачах управления.  - М.: ИПУ, 1982. С.58-66.
34. Плоткин А.А. – В кн.: Статистические методы анализа экспертных оценок. - М.: Наука, 1977. С.111-123.
35. Шурыгин A.M. – В кн.: Алгоритмическое и программное обеспечение прикладного статистического анализа. - М.: Наука, 1980. С.360-366.
36. Орлов А.И. – В кн.: Проблемы компьютерного анализа данных и моделирования. - Минск: Белорусcкий  государственный университет, 1991. С.141-148.
37. Любищев А.А. Проблемы формы, систематики и эволюции организмов. - М.: Наука, 1982. – 278 с.
38. Райская H.Н., Гостилин Н.Л., Френкель А.А. /Тезисы докладов Всесоюзной конференции “Применение многомерного статистического анализа в экономике и оценке качества продукции”. – Тарту: Тартуский государственный университет, 1977. С.177-179.
39. Бала Ю.М., Фуки B.Б., Рог А.И. и др. / Кардиология, 1977. Т.17. №7. С.55-61.
40. Орлов А.И. / Заводская лаборатория. 1986. Т.52. № 5. С.67-69.
41. Орлов А.И. / Заводская лаборатория. 1997. Т.63. № 3. С.55-62.
42. Орлов А.И. – В кн.: Прикладная статистика. - М.: Наука, 1983. С.12-40.
43. Ибрагимов И.А., Хасьминский Р.З. Асимптотическая теория оценивания. - М.: Наука, 1979. - 528 с.
44. Классификация и кодирование технико-экономической информации. – М.: Изд-во стандартов, 1972. – 176 с.
45. Бреховских С.М. Основы функциональной системологии материальных объектов. – М.: Наука. 1986. – 192 с.
46. Статистические методы классификации. / Под ред. Ю.Н.Благовещенского. – М.: МГУ им. М.В.Ломономова, 1969. – 174 с.
47. Бонгард М.М. Проблема узнавания. – М.: Наука, 1967. – 320 с.  
48. Елисеева И.И., Рукавишников В.О. Группировка, корреляция, распознавание образов. – М.: Статистика, 1977. – 144 с.
49. Миркин Б.Г. Группировки в социально-экономических исследованиях: Методы построения и анализа. -  М.: Финансы и статистика, 1985. – 223 с.
50. Мандель И.Д. Кластерный анализ. – М.: Финансы и статистика, 1988. – 176 с.
51. Горелик А.Л., Гуревич И.Б., Скрипкин В.А. Современное состояние проблемы распознавания. – М.: Радио и связь, 1985. – 160 с.
52. Левит В.Е., Переверзев-Орлов В.С. Структура и поле данных при распознавании образов. – М.: Наука, 1984. – 120 с.
53. Распознавание образов: Состояние и перспективы / Верхаген К., Дейн Р., Грун Ф. и др. / Пер. с англ. под ред. И.Б.Гуревича. – М.: Радио и связь, 1985. – 104 с. 
54. Абусев Р.А., Лумельский Я.П. Статистическая групповая классификация. – Пермь: Пермский государственный университет, 1987. – 92 с. 
55. Абусев Р.А. Групповая классификация: Решающие правила и их характеристики. – Пермь: Пермский государственный университет, 1992. – 219 с.